The distributed representation of symbols is one of the key technologies in machine learning systems today, playing a pivotal role in modern natural language processing. Traditional word embeddings associate a separate vector with each word. While this approach is simple and leads to good performance, it requires a lot of memory for representing a large vocabulary. To reduce the memory footprint, the default embedding layer in spaCy is a hash embeddings layer. It is a stochastic approximation of traditional embeddings that provides unique vectors for a large number of words without explicitly storing a separate vector for each of them. To be able to compute meaningful representations for both known and unknown words, hash embeddings represent each word as a summary of the normalized word form, subword information and word shape. Together, these features produce a multi-embedding of a word. In this technical report we lay out a bit of history and introduce the embedding methods in spaCy in detail. Second, we critically evaluate the hash embedding architecture with multi-embeddings on Named Entity Recognition datasets from a variety of domains and languages. The experiments validate most key design choices behind spaCy's embedders, but we also uncover a few surprising results.

In the clinical setting of histopathology, whole-slide image (WSI) artifacts frequently arise, distorting regions of interest, and having a pernicious impact on WSI analysis. Image-to-image translation networks such as CycleGANs are in principle capable of learning an artifact removal function from unpaired data. However, we identify a surjection problem with artifact removal, and propose an weakly-supervised extension to CycleGAN to address this. We assemble a pan-cancer dataset comprising artifact and clean tiles from the TCGA database. Promising results highlight the soundness of our method.

In reasoning about sequential events it is natural to pose probabilistic queries such as "when will event A occur next" or "what is the probability of A occurring before B", with applications in areas such as user modeling, medicine, and finance. However, with machine learning shifting towards neural autoregressive models such as RNNs and transformers, probabilistic querying has been largely restricted to simple cases such as next-event prediction. This is in part due to the fact that future querying involves marginalization over large path spaces, which is not straightforward to do efficiently in such models. In this paper we introduce a general typology for predictive queries in neural autoregressive sequence models and show that such queries can be systematically represented by sets of elementary building blocks. We leverage this typology to develop new query estimation methods based on beam search, importance sampling, and hybrids. Across four large-scale sequence datasets from different application domains, as well as for the GPT-2 language model, we demonstrate the ability to make query answering tractable for arbitrary queries in exponentially-large predictive path-spaces, and find clear differences in cost-accuracy tradeoffs between search and sampling methods.

在整个幻灯片成像中，基于苏木精和曙红（H＆E）（H＆E）和免疫组织化学（IHC）的常用染色技术染色了组织景观的不同方面。在检测转移的情况下，IHC提供了一个独特的读数，病理学家很容易解释。但是，IHC是一种更昂贵的方法，在所有医疗中心都不可用。因此，使用深层神经网络从H＆E生成IHC图像成为一种有吸引力的替代方法。诸如Cyclegans之类的深层生成模型学习两个图像域之间的语义一致映射，同时模拟每个域的纹理特性。因此，它们是污渍转移应用程序的合适选择。但是，它们仍然完全无监督，并且没有在染色转移中执行生物学一致性的机制。在本文中，我们提出了以歧视者区域形式向自行车行驶的扩展。这使Cyclegan可以从未配对的数据集中学习，此外，还希望对象有部分注释，希望它能强制执行一致性。我们在整个幻灯片图像上介绍了用例，其中IHC染色为转移细胞提供了实验生成的信号。我们证明了我们的方法优于先前的艺术在两个数据集上对组织病理学瓷砖的污渍转移中的优越性。我们的代码和型号可在https://github.com/jcboyd/miccai2022-Roigan上找到。

在“封闭设置”场景中的评估之外，在呈现虹膜识别的演示攻击检测（PAD）中的研究基本上已经转移，以强调概括培训数据中不存在的演示攻击类型的能力。本文提供了几项贡献，可以理解和扩展开放式虹膜垫的最先进。首先，它描述了虹膜垫迄今为止最权威的评估。我们已经为此问题策划了最大的公共可用图像数据集，该数据集从先前由各个组发布的26个基准中绘制出来，并在本文的期刊版本中添加了150,000张图像，以创建一组450,000张代表正宗Iris和7的图像演示攻击工具的类型（PAI）。我们制定了一项保留的评估协议，并表明封闭式评估中的最佳算法在开放集情况下在多种攻击类型上都会显示出灾难性的失败。这包括在最新的Livdet-IRIS 2020竞赛中表现良好的算法，这可能来自以下事实：Livdet-IRIS协议强调隔离图像而不是看不见的攻击类型。其次，我们评估了当今可用的五种开源虹膜呈现攻击算法的准确性，其中一种是本文新近提出的，并建立了一种合奏方法，该方法以大幅度的利润击败了Livdet-IRIS 2020的获胜者。本文表明，当训练期间所有PAIS都知道时，封闭设置的虹膜垫是一个解决问题，多种算法显示出非常高的精度，而开放式虹膜垫（正确评估）尚未解决。新创建的数据集，新的开源算法和评估协议可公开使用本文的期刊版本，提供了研究人员可以用来衡量这一重要问题的进度的实验文物。

面部图像合成已经超出了人类可以有效区分真实面孔和合成产生的面孔的进展。最近开发的合成面部图像探测器具有“比人类更好”的判别能力，尤其是那些在模型训练过程中受到人类感知智能的指导的能力。在本文中，我们研究了这些人类引导的合成面探测器是否可以帮助非专业人类操作员在合成图像检测的任务中与没有人类施用的模型相比。我们进行了一项大规模实验，对1,560多个受试者进行了分类，该试验是否显示出真实或合成生成的面部，并注释支持其决策的区域。总共收集了3,780张独特面部图像的56,015个注释。所有受试者首先检查了没有任何AI支持的样品，然后给出了（a）AI的决定（“合成”或“真实”），（b）类激活图，说明了模型对其决策的显着性，或（c） AI的决定和AI的显着性图。合成面是由六个现代生成对抗网络产生的。该实验的有趣观察结果包括：（1）接受人类实力训练的模型为人类对面部图像的检查提供了更好的支持，与传统上使用跨凝性损失训练的模型相比，（2）向人类提出的二进制决策提供了比显着性更好的支持。地图，（3）理解AI的准确性有助于人类增加对特定模型的信任，从而提高其整体准确性。这项工作表明，尽管由机器支持的人类实现了合成面部检测的准确性，但向人类提供AI支持和建立信任的方式是决定人类串联的高效性的关键因素。

法医虹膜认可，而不是活着的Iris认可，是一个新兴的研究领域，它利用Iris Biometrics的判别能力来帮助人类检查员识别死者。作为一种主要是人为控制的任务，作为一种基于机器学习的技术，法医识别是在验证后识别任务中对人类专业知识的“备份”。因此，机器学习模型必须是（a）可解释的，并且（b）验尸特异性，以说明衰减眼组织的变化。在这项工作中，我们提出了一种满足需求的方法，并以人类感知的方式以一种新颖的方式接近验尸的创建。我们首先使用人类突出的图像区域的注释来训练基于学习的特征探测器，这是他们的决策。实际上，该方法直接从人类那里学习可解释的特征，而不是纯粹的数据驱动特征。其次，区域虹膜代码（同样，具有人体驱动的过滤内核）用于配对检测到的虹膜斑块，这些颗粒被转化为基于斑块的比较分数。通过这种方式，我们的方法为人类考官提供了人为理解的视觉提示，以证明身份决定和相应的置信度得分是合理的。当在259名死者的验尸虹膜图像的数据集上进行测试时，提出的三个最佳虹膜匹配者中提出的方法位置比商业（非人类互换）的Verieye方法更好。我们提出了一种独特的验尸后虹膜识别方法，该方法接受了人类显着性的培训，可以在法医检查的背景下提供完全解释的比较结果，从而实现最先进的识别表现。

变形金刚已成为主要的机器学习工作负载，它们不仅是自然语言处理任务的事实上的标准，而且还将部署在其他领域，例如视觉和语音识别。许多基于变压器的应用程序都是实时系统，例如机器翻译和Web搜索。这些实时系统通常具有严格的端到端推理潜伏期需求。不幸的是，尽管大多数变压器计算都来自基质乘法，但变压器还包括几种非线性组件，它们在推理过程中倾向于成为瓶颈。在这项工作中，我们加快了张量流处理器上BERT模型的推断。通过小心地将所有非线性组件与矩阵乘法组件融合在一起，我们能够有效地利用芯片矩阵乘法单元，从而通过BERT-1通过BERT-1通过BERT-BASE，确定性的尾巴延迟为130 $ \ MU $ s，比当前的最新时间快6倍。

决策算法用于多种不同的应用程序。设计决策算法的常规方法采用原则和简化的建模，基于该建模，可以通过可通过可拖动优化来确定决策。最近，使用高度参数体系结构从数据调整而不依赖数学模型的深度学习方法变得越来越流行。基于模型的优化和以数据为中心的深度学习通常被认为是不同的学科。在这里，我们将它们描述为连续频谱的边缘，特异性和参数化各不相同，并为位于该频谱中间基础的方法提供了教程风格的呈现，称为基于模型的深度学习。我们伴随着演示文稿，其中包括超分辨率和随机控制的运行示例，并使用提供的表征和专门说明它们如何表达它们。使用各种应用中的实验结果证明了结合基于模型的优化和深度学习的收益，从生物医学成像到数字通信。

在这封信中，我们提出了一种多功能的层次离线计划算法，以及用于敏捷四足球运动的在线控制管道。我们的离线规划师在优化降低阶模型和全身轨迹优化的质心动力学之间进行交替，以实现动力学共识。我们使用等椭圆形参数化的新型动量惰性质地优化能够通过``惯性塑造''来产生高度的杂技运动。我们的全身优化方法可显着改善基于标准DDP的方法的质量从质心层中利用反馈。对于在线控制，我们通过完整的质心动力学的线性转换开发了一种新颖的凸模型预测控制方案。我们的控制器可以在单个优化中有效地对接触力和关节加速度有效地优化，从而实现更直接的加速度，从而实现更直接的优化与现有四倍体MPC控制器相比，跟踪动量丰富的动作。我们在四个不同的动态操作中证明了我们的轨迹计划者的能力和通用性。然后，我们在MIT MINI Cheetah平台上展示了​​一个硬件实验，以证明整个计划的性能和整个计划的性能和性能扭曲的控制管道跳动。